花费 8 ms
python基础操作以及hdfs操作

一、前言 作为一个全栈工程师,必须要熟练掌握各种语言。。。HelloWorld。最近就被“逼着”走向了python开发之路,大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单 ...

Tue May 07 07:59:00 CST 2019 0 1340
HDFS某个节点的磁盘满了

前言 昨天还是周末,公司群里就有人@,说集群有问题了,敲完Hive一直卡在那里进不去,于是我很快登上WebUi,看到了这么一幕:这台节点的磁盘满了,其他的数据分布都比较平均 为什么会这样 这里就 ...

Sat Feb 20 01:11:00 CST 2021 0 411
CDH Disk Balancer 磁盘数据均衡

前提:CDH5.16.2 由于数据量过多,磁盘大小太小,导致磁盘使用率高达90%以上,于是新增磁盘,可问题来了,如何将这两块磁盘上的数据进行均衡呢?本次基于CDH来做 1.设置dfs.disk.b ...

Sat Feb 20 20:54:00 CST 2021 0 348
大数据之路【第十篇】:kafka消息系统

一、简介 1、简介 简 介• Kafka是Linkedin于2010年12月份开源的消息系统• 一种分布式的、基于发布/订阅的消息系统 2、特点 – 消息持久化:通过O(1)的磁盘数据结构提供 ...

Fri Aug 30 00:38:00 CST 2019 0 374

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM